How to determine the quality of a questionnaire according to the CONsensus-based Standards for the selection of health Measurement INstruments? A simplified guide to the measurement properties of assessment instruments - Part I: basic concepts and reliability / Como determinar a qualidade de um questionário de acordo com o CONsensus-based Standards for the selection of health Measurement INstruments? Um guia simplificado sobre as propriedades de medida de instrumentos de avaliação - Parte I: conceitos básicos e confiabilidade

ABSTRACT BACKGROUND AND OBJECTIVES: The type of questionnaire that aims to capture a patient's perception/view of an aspect to be measured (e.g. pain intensity) is called Patient Reported Outcome Measure (PROM). One of the biggest challenges that clinicians and researchers often face is making a decision about which PROM to use for the assessment of their patient with pain, especially due to the lack of scientific literacy needed to understand the criteria and terms used in the field of measurement properties. Thus, the objectives of this narrative review (part I) were: (I) to introduce basic concepts about PROMs with a focus on the terminology and criteria defined through the COnsensus- based Standards for the selection of health Measurement INstruments (COSMIN), and (2) to describe the measurement properties of the reliability domain. METHODS: This study was produced using a search for articles from the COSMIN initiative. As the subject is very extensive, the authors divided the text into two parts. RESULTS: This study described basic concepts about PROMs (purposes and constructs), the process of cross-cultural adaptation and the measurement properties of the reliability domain (reliability, error measure and internal consistency). In general, an instrument with adequate reliability quality should meet certain criteria, such as: intraclass correlation coefficient ≥0.70, error measure < minimal clinically important change and Cronbach's Cronbach's α ≥ 0.70. CONCLUSION: The understanding on how to determine the quality of reliability can assist clinicians and researchers in choosing the best PROMs available. A checklist for assessing the quality of the measurement properties of PROMs is described in the part II of the manuscript.

RESUMO JUSTIFICATIVA E OBJETIVOS: O tipo de questionário que pretende captar a percepção/visão de um paciente sobre um aspecto a ser medido (ex: intensidade da dor) é chamado de Instrumento de Medida Baseado no Relato do Paciente (Patient Reported Outcome Measure - PROM). Um dos maiores desafios que clínicos e pesquisadores costumam enfrentar é quanto a tomar uma decisão sobre qual PROM utilizar para a avaliação de seu paciente com dor, especialmente devido à falta do letramento científico necessário para entender os critérios e termos empregados na área de propriedades de medida. Assim, os objetivos deste estudo (parte I) foram: (I) introduzir conceitos básicos sobre PROMs com enfoque na terminologia e critérios definidos através do COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN), e (2) descrever as propriedades de medida do domínio confiabilidade. MÉTODOS: Utilizando uma busca voltada para os artigos da iniciativa COSMIN, foi elaborado este estudo. Sendo o assunto muito extenso, os autores dividiram o texto em duas partes. RESULTADOS: O presente artigo descreveu conceitos básicos sobre PROMs (propósitos e construtos), o processo de adaptação transcultural e as propriedades de medida do domínio confiabilidade (confiabilidade, medida de erro e consistência interna). De forma geral, um instrumento com qualidade adequada de confiabilidade deveria atender a alguns critérios, tais como: coeficiente de correlação intraclasse ≥ 0,70, medida de erro < mínima mudança clinicamente importante e α de Cronbach ≥ 0,70. CONCLUSÃO: O entendimento sobre como determinar a qualidade da propriedade de medida de confiabilidade pode auxiliar os clínicos e pesquisadores na escolha dos melhores PROMs disponíveis. Um checklist para avaliação da qualidade das propriedades de medida de PROMs está descrita na parte II do artigo.

Sisvan food intake markers: structure and measurement invariance in Brazil / Marcadores do consumo alimentar do Sisvan: estrutura e invariância de mensuração no Brasil

ABSTRACT OBJECTIVE To characterize the internal structure of the Food and Nutrition Surveillance System (Sisvan) form of food intake markers for individuals over 2 years of age and to investigate measurement invariance between Brazilian macro-regions, life stages and over the years. METHODS A parallel analysis with factor estimation was carried out, complemented with exploratory factor analysis using all Sisvan records with valid responses in the country in 2015 (n = 298,253). Only the first record per individual was considered. Next, multigroup confirmatory factor analysis was used to investigate configural, metric and scalar invariance between the five macro-regions (Midwest, Northeast, North, Southeast, South) and life stages (children, adolescents, adults, elderly) in the same reference year. Invariance was evaluated longitudinally using valid individual records from 2015 to 2019 (n = 4,578,960). The adequacy of fit indices was observed at each step. RESULTS Acceptable fit indices and adequate factor loadings were found for a two-dimensional model, which grouped ultra-processed foods (factor 1) and unprocessed or minimally processed foods (factor 2). The two-dimensional structure, with the respective items in each factor underlying the set of markers, was equivalent across macro-regions, life stages and longitudinally, confirming the configural invariance. The weights of each item and its scale were homogeneous for all groups of interest, confirming metric and scalar invariances. CONCLUSIONS The internal structure of the Sisvan form of food intake markers adequately reflected its conceptual foundation, with stability of factors related to healthy and unhealthy eating in configuration, weights and scale in the investigated categories. These findings qualify food and nutritional surveillance actions, enhancing the use of Sisvan food intake markers in research, monitoring, individual guidance, and care production in the Brazilian Unified Health System.

RESUMO OBJETIVO Caracterizar a estrutura interna do formulário de marcadores do consumo alimentar do Sistema de Vigilância Alimentar e Nutricional (Sisvan) para indivíduos maiores de 2 anos de idade e analisar evidências de invariância de mensuração entre macrorregiões brasileiras, fases do curso da vida e ao longo do tempo. MÉTODOS Realizou-se análise paralela com estimação de fatores complementada com análise fatorial exploratória a partir de todos os registros de primeiro acompanhamento do Sisvan com respostas válidas no país em 2015 (n = 298.253). A seguir, empregou-se a análise fatorial confirmatória multigrupo para investigação de evidências de invariância configural, métrica e escalar entre as cinco macrorregiões (Centro-Oeste, Nordeste, Norte, Sudeste e Sul) e fases do curso da vida (crianças, adolescentes, adultos e idosos), no mesmo ano de referência. Avaliou-se a invariância longitudinalmente a partir de registros individuais válidos de 2015 a 2019 (n = 4.578.960). A adequação de índices de ajuste foi observada a cada etapa. RESULTADOS Verificaram-se índices de ajuste aceitáveis e valores de carga fatorial adequados para um modelo bidimensional, que agrupou alimentos ultraprocessados (fator 1) e alimentos in natura ou minimamente processados (fator 2). A estrutura bidimensional, com os respectivos itens em cada fator subjacente ao conjunto de marcadores, foi equivalente entre macrorregiões, fases do curso da vida e longitudinalmente, confirmando a invariância configural. Os pesos de cada item e sua escala foram homogêneos para todos os grupos de interesse, confirmando as invariâncias métrica e escalar. CONCLUSÕES A estrutura interna do formulário de marcadores do consumo alimentar refletiu adequadamente seu embasamento conceitual, com estabilidade dos fatores relacionados à alimentação saudável e não saudável em configuração, cargas e escala nos recortes investigados. Esses achados qualificam ações de vigilância alimentar e nutricional, potencializando o uso dos marcadores do consumo alimentar do Sisvan em pesquisas, monitoramento, orientação individual e produção de cuidado no Sistema Único de Saúde.

Quality of child anthropometric data from SISVAN, Brazil, 2008-2017 / Qualidade dos dados antropométricos infantis do Sisvan, Brasil, 2008-2017

ABSTRACT OBJECTIVE To evaluate the quality of anthropometric data of children recorded in the Food and Nutrition Surveillance System (SISVAN) from 2008 to 2017. METHOD Descriptive study on the quality of anthropometric data of children under five years of age admitted in primary care services of the Unified Health System, from the individual databases of SISVAN. Data quality was annually assessed using the indicators: coverage, completeness, sex ratio, age distribution, weight and height digit preference, implausible z-score values, standard deviation, and normality of z-scores. RESULTS In total, 73,745,023 records and 29,852,480 children were identified. Coverage increased from 17.7% in 2008 to 45.4% in 2017. Completeness of birth date, weight, and height corresponded to almost 100% in all years. The sex ratio was balanced and approximately similar to the expected ratio, ranging from 0.8 to 1. The age distribution revealed higher percentages of registrations from the ages of two to four years until mid-2015. A preference for terminal digits "zero" and "five" was identified among weight and height records. The percentages of implausible z-scores exceeded 1% for all anthropometric indices, with values decreasing from 2014 onwards. A high dispersion of z-scores, including standard deviations between 1.2 and 1.6, was identified mainly in the indices including height and in the records of children under two years of age and residents in the North, Northeast, and Midwest regions. The distribution of z-scores was symmetric for all indices and platykurtic for height/age and weight/age. CONCLUSIONS The quality of SISVAN anthropometric data for children under five years of age has improved substantially between 2008 and 2017. Some indicators require attention, particularly for height measurements, whose quality was lower especially among groups more vulnerable to nutritional problems.

RESUMO OBJETIVOS Avaliar a qualidade dos dados antropométricos de crianças registradas no Sistema de Vigilância Alimentar e Nutricional (Sisvan) no período 2008-2017. MÉTODOS Estudo descritivo sobre a qualidade dos dados antropométricos de crianças menores de 5 anos atendidas nos serviços de atenção primária do Sistema Único de Saúde, a partir das bases de dados individuais do Sisvan. A qualidade dos dados foi avaliada anualmente por meio dos indicadores: cobertura, completude, razão entre sexos, distribuição da idade, preferência por dígitos de peso e estatura, valores de escore-z implausíveis, desvio-padrão e normalidade dos escores-z. RESULTADOS No total, 73.745.023 registros e 29.852.480 crianças foram identificados. A cobertura aumentou de 17,7% em 2008 para 45,4% em 2017. A completude da data de nascimento, peso e estatura correspondeu a quase 100% para todos os anos. A razão entre sexos foi equilibrada e aproximadamente similar a razão esperada, variando entre 0,8 e 1. A distribuição da idade revelou maiores percentuais de registros entre as idades de 2 a 4 anos até meados de 2015. Uma preferência pelos dígitos terminais "zero" e "cinco" foi identificada entre os registros de peso e estatura. As porcentagens de escores-z implausíveis excederam 1% para todos os índices antropométricos, com redução dos valores a partir de 2014. Uma alta dispersão dos escores-z, incluindo desvios-padrão entre 1,2 e 1,6, foi identificada principalmente nos índices incluindo estatura e nos registros de crianças menores de 2 anos e residentes das regiões Norte, Nordeste e Centro-Oeste. A distribuição dos escores-z foi simétrica para todos os índices e platicúrtica para estatura/idade e peso/idade. CONCLUSÕES A qualidade dos dados antropométricos do Sisvan para crianças menores de 5 anos melhorou substancialmente entre 2008 e 2017. Alguns indicadores requerem atenção, sobretudo para medidas de estatura, cuja qualidade foi principalmente inferior entre os grupos mais vulneráveis a agravos nutricionais.

Reprodutibilidade intraobservador do teste Timed Up and Go para pacientes com DPOC / Intrarater reliability of Timed Up and Go Test to patients with COPD

| INTRODUÇÃO: O Timed UP and Go Test (TUG) é um importante teste utilizado para a avaliação de desfechos funcionais na DPOC, como mobilidade, equilíbrio dinâmico e risco de queda. No cenário clínico prático, a aplicação repetida do TUG é realizada muitas vezes pelo mesmo observador, no objetivo de avaliar diversas intervenções aplicadas na DPOC. OBJETIVO: Avaliar o grau de reprodutibilidade intraobservador do TUG em indivíduos com DPOC. METODOLOGIA: Estudo descritivo, de corte transversal, realizado com indivíduos com DPOC, atendidos ambulatorialmente na cidade de Salvador-Bahia. Foram verificadas características sociodemográficas e clínicas como a espirometria (VEF1/CVF), e tempo de realização de duas práticas no mesmo dia do teste TUG. A reprodutibilidade do TUG foi avaliada pelo Coeficiente de Correlação Intraclasse (CCI), CAAE número 38143214.0.0000.0057. RESULTADOS: Trinta e um pacientes voluntários foram avaliados; destes, 24 (77,4%) homens, média da idade de 68,6 ± 9,8 anos, com relação VEF1/CVF pós-broncodilatador de 59,0 ± 10,8 %. Na análise da reprodutibilidade intraobservador do TUG pelo CCI, obteve-se α = 0,897 (CI 95%: 0,786; 0,950; p < 0,0001). CONCLUSÃO: O teste TUG possui excelente reprodutibilidade intraobservador e uma pequena variabilidade quando aplicados duas vezes em pacientes com DPOC, sendo a aplicação para avaliação da mobilidade, na prática do cuidado em saúde considerada factível.

INTRODUCTION: The Timed UP and Go Test (TUG) is an important test used to assess functional outcomes in COPD, such as mobility, dynamic balance, and risk of falling. In clinical practice, the repeated application of the TUG is performed several times by the same observer to evaluate different interventions applied in COPD. OBJECTIVE: To assess the degree of intraobserver reproducibility of TUG in individuals with COPD. METHODOLOGY: Descriptive, cross-sectional study carried out with individuals with COPD treated in an outpatient clinic in the city of SalvadorBahia. Sociodemographic and clinical characteristics such as spirometry (FEV1/FVC) were verified, as well as two practices of the TUG Test on the same day. The reproducibility of TUG was evaluated fur Intraclass Correlation Coefficient (ICC). CAAE number 38143214.0.0000.0057. RESULTS: Thirty-one volunteer patients were evaluated, of which 24 (77.4%) men, mean age 68.6 ± 9.8 years, with post-bronchodilator FEV1//FVC ratio 59.0 ± 10.8%. In the analysis of intraobserver reproducibility of the TUG by the ICC, α = 0.897 (CI 95%: 0.786; 0.950; p < 0.0001) was obtained. CONCLUSION: The TUG test has excellent intraobserver reproducibility and a small variability when applied twice in patients with COPD, being the application for mobility assessment, in care practice, considered viable.

Análise do sistema de vigilância epidemiológica da febre de chikungunya no estado do Pará / Análisis del sistema de vigilancia epidemiológica de la fiebre de chikungunya en el estado de Pará / Analysis of the chikungunya fever epidemiological surveillance system in the state of Pará

RESUMO Objetivo: analisar o Sistema de Informação de Agravos de Notificação quanto à aceitabilidade, pontualidade e qualidade dos dados da Febre de Chikungunya no Pará, 2015-2017. Método: estudo epidemiológico, com análise de 17.148 casos da febre de Chikungunya obtidos no Sistema de Informação de Agravos de Notificação, no estado do Pará entre 2015 e 2017. Resultados: o sistema demonstrou pontualidade na obtenção de dados e atraso para produção da informação; sua aceitabilidade entre os municípios variou de 22,92 a 65,28%; houve discrepância da completitude entre as variáveis obrigatórias e essenciais; com duplicidade >1% e melhora da validade. Conclusão: as deficiências e fragilidades identificadas no Sistema poderão ser minimizadas com a revisão do processo de trabalho. O estudo propicia reflexão sobre a necessidade de registro oportuno e de qualidade para tomada de decisão.

RESUMEN Objetivo: analizar el Sistema de Información de Agravios de Notificación acerca de la aceptabilidad, puntualidad y calidad de los datos sobre la Fiebre de Chikungunya en Pará, 2015-2017. Método: estudio epidemiológico, con análisis de 17.148 casos da la fiebre de Chikungunya que se obtuvieron en el Sistema de Información de Agravios de Notificación, en estado de Pará entre 2015 y 2017. Resultados: el sistema mostró puntualidad en la obtención de datos y atraso para producción de la información; su aceptabilidad entre los municipios ha variado de 22,92 a 65,28%; hubo discrepancia de la completitud entre las variables obligatorias y esenciales; con duplicidad >1% y mejora de la validad. Conclusión: las deficiencias y fragilidades que se identificaron en el Sistema pueden minimizar la revisión del proceso de trabajo. El estudio posibilita reflexionar acerca de la necesidad de registro y de calidad para toma de decisión.

ABSTRACT Objective: To analyze the Notifiable Diseases Information System regarding the acceptability, punctuality and quality of Chikungunya Fever data in Pará, 2015-2017. Method: An epidemiological study with the analysis of 17,148 cases of Chikungunya fever obtained from the Notifiable Diseases Information System in the state of Pará between 2015 and 2017. Results: The system showed punctuality in data acquisition and delay to produce the information; its acceptability among the municipalities ranged from 22.92 to 65.28%; there was a discrepancy in completeness among the mandatory and essential variables; with >1% duplicity and improved validity. Conclusion: The deficiencies and weaknesses identified in the System can be minimized by reviewing the work process. The study provides reflection on the need for appropriate and quality registration for decision making.

Prognostic Accuracy of the GRACE Score in Octogenarians and Nonagenarians with Acute Coronary Syndromes / Acurácia Prognóstica do Escore GRACE em Octogenários e Nonagenários com Síndromes Coronarianas Agudas

Abstract Background: The GRACE Score was derived and validated from a cohort in which octogenarians and nonagenarians were poorly represented. Objective: To test the accuracy of the GRACE score in predicting in-hospital mortality of very elderly individuals with acute coronary syndromes (ACS). Methods: Prospective observational study conducted in the intensive coronary care unit of a tertiary center from September 2011 to August 2016. Patients consecutively admitted due to ACS were selected, and the very elderly group was defined by age ≥ 80 years. The GRACE Score was based on admission data and its accuracy was tested regarding prediction of in-hospital death. Statistical significance was defined by p value < 0,05. Results: A total of 994 individuals was studied, 57% male, 77% with non-ST elevation myocardial infarction and 173 (17%) very elderly patients. The mean age of the sample was 65 ± 13 years, and the mean age of very elderly patients subgroup was 85 ± 3.7 years. The C-statistics of the GRACE Score in very elderly patients was 0.86 (95% CI = 0.78 - 0.93), with no difference when compared to the value for younger individuals 0.83 (95% CI = 0.75 - 0.91), with p = 0.69. The calibration of the score in very elderly patients was described by χ2 test of Hosmer-Lemeshow = 2.2 (p = 0.98), while the remaining patients presented χ2 = 9.0 (p = 0.35). Logistic regression analysis for death prediction did not show interaction between GRACE Score and variable of very elderly patients (p = 0.25). Conclusion: The GRACE Score in very elderly patients is accurate in predicting in-hospital ACS mortality, similarly to younger patients.

Resumo Fundamento: O Escore GRACE foi derivado e validado por coorte de questionável representatividade de indivíduos octogenários e nonagenários. Objetivo: Testar a acurácia do Escore GRACE na predição de óbito hospitalar em indivíduos muito idosos com síndromes coronarianas agudas (SCAs). Métodos: Coleta prospectiva realizada em unidade coronariana de hospital terciário, durante o período de setembro de 2011 a agosto de 2016. Indivíduos consecutivamente internados com SCA foram selecionados e o grupo muito idoso definido por idade ≥ 80 anos. A acurácia do Escore GRACE foi testada quanto à predição de óbito hospitalar. A significância estatística foi definida por valor p < 0,05. Resultados: Foram estudados 994 indivíduos, sendo 57% do sexo masculino, 77% com SCA sem supradesnível do segmento ST e 173 pacientes muito idosos. A média geral de idade foi 65 ± 13 anos, e a média de idade dos pacientes muito idosos, 85 ± 3,7 anos. A estatística-C do Escore GRACE em indivíduos muito idosos foi de 0,86 (95% IC = 0,78 - 0,93), sem diferença em relação aos indivíduos mais jovens (0,83; 95% IC = 0,75 - 0,91), com p = 0,69. A calibração do escore em muito idosos foi descrita por Teste χ2 de Hosmer-Lemeshow = 2,2 (p = 0,98), enquanto os demais pacientes apresentaram χ2 = 9,0 (p = 0,35). A análise de regressão logística para predição de óbito não revelou interação entre Escore GRACE e a variável muito idoso (p = 0,25). Conclusão: O Escore GRACE em indivíduos muito idosos é acurado para predição de mortalidade hospitalar em SCA, semelhante para indivíduos mais jovens.

Validade de construto do índice de humanização dos serviços de saúde / Construct validity of the health services humanization index / Validez de constructo del índice de humanización de los servicios de salud

Objetivou apresentar os resultados do estudo de validade de construto do Índice de Humanização dos Serviços de Saúde. Estudo metodológico de validação de indicadores de avaliação em saúde, desenvolvido em um complexo hospitalar e unidades de atenção primária e especializada, na cidade de Uberaba, estado de Minas Gerais. Participaram 312 trabalhadores, 211 usuários e 49 gestores, entre novembro de 2013 e março de 2014. As medidas de adequação da amostra indicaram ser possível uma solução fatorial. Foram nomeados 7 fatores na dimensão trabalho, 7 fatores na dimensão usuário e 3 fatores na dimensão gestão. O instrumento proposto atende aos requisitos psicométricos preconizados, podendo ser utilizado para avaliar a percepção de trabalhadores, usuários e gestores sobre aspectos da humanização dos serviços de saúde. (AU)

This study aimed to present the construct validity results of the Health Service Humanization Index. Methodological study to validate health assessment indicators, developed at a hospital complex and primary and specialized care services in the city of Uberaba, state of Minas Gerais. Participants were 312 workers, 211 users and 49 managers between November 2013 and March 2014. The sample adequacy measures indicated that a factorial solution is possible. Seven factors were indicated in the work dimension, seven in the user dimension and three in the management dimension. The proposed instrument complies with the recommended psychometric requisites and can be used to assess the perception of workers, users and managers about aspects of health service humanization. (AU)

El objetivo fue presentar los resultados del estudio de validez de constructo del Índice de Humanización de los Servicios de Salud. Estudio metodológico de validación de indicadores de evaluación en salud, desarrollado en un complexo hospitalario y unidades de atención primaria y especializada en la ciudad de Uberaba, estado de Minas Gerais. Participaron 312 trabajadores, 211 usuarios y 49 gestores, entre noviembre del 2013 y marzo del 2014. Las medidas de adecuación de la muestra indicaron que una solución factorial es posible. Fueron nombrados 7 factores en la dimensión trabajo, 7 factores en la dimensión usuario y 3 factores en la dimensión gestión. El instrumento propuesto cumple con los requisitos psicométricos preconizados y puede ser utilizado para evaluar la percepción de trabajadores, usuarios y gestores sobre aspectos de la humanización de los servicios de salud.(AU)

A new approach for interexaminer reliability data analysis on dental caries calibration

Objectives: a) to evaluate the interexaminer reliability in caries detection considering different diagnostic thresholds and b) to indicate, by using Kappa statistics, the best way of measuring interexaminer agreement during the calibration process in dental caries surveys. Methods: Eleven dentists participated in the initial training, which was divided into theoretical discussions and practical activities, and calibration exercises, performed at baseline, 3 and 6 months after the initial training. For the examinations of 6-7-year-old schoolchildren, the World Health Organization (WHO) recommendations were followed and different diagnostic thresholds were used: WHO (decayed/missing/filled teeth - DMFT index) and WHO + IL (initial lesion) diagnostic thresholds. The interexaminer reliability was calculated by Kappa statistics, according to WHO and WHO+IL thresholds considering: a) the entire dentition; b) upper/lower jaws; c) sextants; d) each tooth individually. Results: Interexaminer reliability was high for both diagnostic thresholds; nevertheless, it decreased in all calibration sections when considering teeth individually. Conclusion: The interexaminer reliability was possible during the period of 6 months, under both caries diagnosis thresholds. However, great disagreement was observed for posterior teeth, especially using the WHO+IL criteria. Analysis considering dental elements individually was the best way of detecting interexaminer disagreement during the calibration sections.